Low-Cost Assays for Measuring Model Behavior Across Vendors and Releases
跨厂商与版本的低成本模型行为测量方法
🧭 LLM 行为测量与评估方法
Cornell Tech
低成本行为 assay 面板：固定刺激+三种读数，追踪 LLM 跨厂商/版本行为差异
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 上线或切换模型 vendor/版本时，建立冻结的「行为回归 battery」：固定 prompt 面板，低成本跑新模型，用 exact match/LLM judge/agent 环境轨迹三方读数，先于业务指标发现 sycophancy、服从性、报告失真等 drift。
- LLM-as-judge 评估推荐理由、客服话术时，不要只报总体一致率；按 code 报告与人类标注的一致性，才能定位不可靠的评估维度。
- 对客服/导购/广告文案生成 Agent，把环境操作日志与模型自述对齐，记录「做了什么」而非「说了什么」，避免只测最终文本而漏掉行为偏差。
- prompt 工程上注意 trailing “right?” 等表面 tag 会大幅改变 endorsement；业务 prompt 应避免或 A/B 这类表达，并在模型换代时重测。